Mùa hè năm 576, Vũ Đế bố trí chiến lược chinh phục Bắc Tề: sử dụng mấy đạo quân tiến đánh cùng một lúc làm rối loạn hướng phòng thủ của Bắc Tề. Trong khi quân chủ lực thì đánh vào Hà Nam rồi đóng yên một chỗ đợi quân chủ lực Bắc Tề kéo đến chỉ trong một trận đánh sẽ tiêu diệt quân chủ lực Bắc Tề, sắn sàng tảo thanh trên phạm vi nước Tề. Ngay trong năm đó, Vũ Đế đã thực hiện kế hoạch nói trên, chia 4 cánh quân theo đường thủy bộ đánh vào Bắc Tề, giành được thắng lợi liên tiếp, nhưng khi quân chủ lực Bắc Tề kéo đến Hà Nam chuẩn bị giao chiến thì Vũ Đế bị bệnh nặng phải rút quân, bỏ lại hơn 30 thành trì vừa chiếm được.

Qua năm sau, Chu Vũ Đế lại mở cuộc tấn công lần thứ hai. Mục tiêu chủ yếu của cuộc tấn công này là Bình Dương (Lâm Phần, Sơn Tây). Sau khi quân Chu vượt Hoàng Hà chỉ trong 9 ngày đã đánh chiếm Bình Dương. Chu Vũ Đế chỉ để lại 1 vạn tinh binh do danh tướng Lương Sĩ Ngạn trấn thủ, còn bản thân thì rút về Quan Trung. Tề Hậu Chủ phải một tháng sau mới huy động được đại quân kéo tới bao vây Bình Dương, tấn công liên tục trong 1 tháng mà vẫn không hạ được ngôi thành cô lập này. Sau khi Chu Vũ Đế trở về Trường An ở lại chỉ có 1 hôm lập tức kéo 8 vạn tinh binh quay trở lại chiến trường cứu viện cho Bình Dương. Đôi bên giao tranh gần Bình Dương. Tề Hậu Chủ chỉ huy tác chiến rất liều lĩnh, không kể gì quân sĩ đang mệt mỏi, vừa trông thấy đối phương là mở cuộc tấn công ngay. Nhưng khi cuộc chiến đấu thất lợi thì lại hốt hoảng dẫn mấy chục thân tín bỏ chạy khỏi chiến trường, làm cho toàn quân đều bị tiêu diệt. Chu Vũ Đế xuống lệnh cho các tướng xua quân truy kích. Tề Hậu Chủ chạy đến Tấn Dương (Thái Nguyên, Sơn Tây) cũng không có ý định chỉnh đốn quân đội để tác chiến mà lại bỏ chạy đến Nghiệp Đô. Đứng trước sự truy kích quyết liệt của quân Bắc Chu, các tướng sĩ Bắc Tề đều mất hết tinh thần chiến đấu, mạnh ai nấy chạy. Thánh Tấn Dương chỉ giữ được 2 hôm là bị đánh chiếm. Chu Vũ Đế kéo quân đến thẳng Nghiệp Đô. Tề Hậu Chủ đưa con trai 8 tuổi lên ngôi (Ấu Chủ) và tiếp tục chạy về hướng đông. Chu Vũ Đế vẫn cho quân truy kích, một số thành viên Hoàng gia Bắc Tề bỏ chạy lên phía bắc để nhờ sự che chở của người Đột Quyết và tiến hành quấy rối biên cương, còn một bộ phận khác thì bị quân Bắc Chu bắt sống. Mùa xuân năm 577, Vũ Đế tiến quân vào Kinh đô Nghiệp Thành của Bắc Tề, sau đó bắt được Hậu Chủ Cao Vĩ và phong cho Cao Vĩ làm Văn Công. Các lực lượng Bắc Tề còn sót lại sau đó bị đánh bại, toàn bộ lãnh thổ Bắc Tề thuộc về Bắc Chu. Nhà Bắc Chu chỉ mất có 4 tháng để tiêu diệt Bắc Tề.

Mùa xuân năm 577, Vũ Đế dẫn quân khải hoàn trở về Trường An, đem theo các quý tộc Bắc Tề, đến mùa đông năm đó, các thành viên hoàng tộc Bắc Tề bị bắt phải tự tử. Sau khi thống nhất miền Bắc, nhà Bắc Chu có tổng cộng 211 châu, 508 quận, 1124 huyện.Nhà Trần lợi dụng cơ hội Bắc Tề diệt vong liền phái tướng Ngô Minh Triệt mở cuộc tấn công vào Bành Thành (Từ Châu, Giang Tô), một thành quan trọng trên biên giới Trần và Bắc Tề, giao chiến với Tông quản Từ châu là Lương Sĩ Ngạn. Vũ Đế phái tướng Vương Quỹ giải vây Bành Thành, và mùa xuân năm 578, Ngô Minh Triệt và hơn 3 vạn quân Trần bị bắt làm tù binh, chỉ có kỵ tướng Tiêu Ma Ha cùng 20 kỵ binh chạy thoát.